SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
SkillCoach：自演化量规评估与增强 Agent 技能使用
🧭 Agent 技能使用的过程评估与自我演化量规 ★ 深度解读
HKUST(GZ) · JD.COM
提出自演化量规框架，从技能选择、遵循、组合与反思四个维度诊断并提升 Agent 在含干扰项库中的技能使用能力
📌 工作参考价值（4 点）
- 过程与结果解耦诊断：在 Agent 系统中将外部验证器（最终结果）与过程评估分离，用轨迹级别的技能选择、步骤遵循、组合正确性和反射检查四个维度定位故障，避免仅用成功率掩盖错误的技能调用或跳步。
- 自演化量规作为数据过滤器：用自我演化的量规筛选 SFT 训练轨迹，要求轨迹同时满足过程质量分≥0.95 且通过验证，显著优于仅用结果过滤，可迁移到电商导购、广告脚本执行等技能驱动场景，提升训练数据质量。
- 干扰项压力测试实用价值：在技能库中混入语义相似但无关的干扰技能，评估 Agent 的技能选择退化边界与崩溃点；电商搜索/推荐中的意图路由、工具选择可借鉴这种方法，提前发现模型在候选集膨胀时的脆弱性。
- 维度级消融指导训练重点：实验表明去除关键步骤遵循损失最大、组成顺序次之，反射较弱，可据此调整过程监督的维度权重或设计分步训练策略，重点关注步骤遵循与技能选择。